In the scenario of black-box adversarial attack, the target model's parameters are unknown, and the attacker aims to find a successful adversarial perturbation based on query feedback under a query budget. Due to the limited feedback information, existing query-based black-box attack methods often require many queries for attacking each benign example. To reduce query cost, we propose to utilize the feedback information across historical attacks, dubbed example-level adversarial transferability. Specifically, by treating the attack on each benign example as one task, we develop a meta-learning framework by training a meta-generator to produce perturbations conditioned on benign examples. When attacking a new benign example, the meta generator can be quickly fine-tuned based on the feedback information of the new task as well as a few historical attacks to produce effective perturbations. Moreover, since the meta-train procedure consumes many queries to learn a generalizable generator, we utilize model-level adversarial transferability to train the meta-generator on a white-box surrogate model, then transfer it to help the attack against the target model. The proposed framework with the two types of adversarial transferability can be naturally combined with any off-the-shelf query-based attack methods to boost their performance, which is verified by extensive experiments.

Gaussian process state-space model (GPSSM) is a fully probabilistic state-space model that has attracted much attention over the past decade. However, the outputs of the transition function in the existing GPSSMs are assumed to be independent, meaning that the GPSSMs cannot exploit the inductive biases between different outputs and lose certain model capacities. To address this issue, this paper proposes an output-dependent and more realistic GPSSM by utilizing the well-known, simple yet practical linear model of coregionalization (LMC) framework to represent the output dependency. To jointly learn the output-dependent GPSSM and infer the latent states, we propose a variational sparse GP-based learning method that only gently increases the computational complexity. Experiments on both synthetic and real datasets demonstrate the superiority of the output-dependent GPSSM in terms of learning and inference performance.

多模式变压器的最新努力通过合并视觉和文本信息改善了视觉上丰富的文档理解（VRDU）任务。但是，现有的方法主要集中于诸如单词和文档图像贴片之类的细粒元素，这使得他们很难从粗粒元素中学习，包括短语和显着视觉区域（如突出的图像区域）等自然词汇单元。在本文中，我们对包含高密度信息和一致语义的粗粒元素更为重要，这对于文档理解很有价值。首先，提出了文档图来模拟多层次多模式元素之间的复杂关系，其中通过基于群集的方法检测到显着的视觉区域。然后，提出了一种称为mmlayout的多模式变压器，以将粗粒的信息纳入基于图形的现有预训练的细颗粒的多峰变压器中。在mmlayout中，粗粒信息是从细粒度聚集的，然后在进一步处理后，将其融合到细粒度中以进行最终预测。此外，引入常识增强以利用天然词汇单元的语义信息。关于四个任务的实验结果，包括信息提取和文档问答，表明我们的方法可以根据细粒元素改善多模式变压器的性能，并使用更少的参数实现更好的性能。定性分析表明，我们的方法可以在粗粒元素中捕获一致的语义。

推荐系统通常会从各种用户行为中学习用户兴趣，包括点击和点击后行为（例如，喜欢和喜欢）。但是，这些行为不可避免地表现出受欢迎程度的偏见，从而导致一些不公平的问题：1）对于具有相似质量，更受欢迎的物品的物品会获得更多的曝光； 2）更糟糕的是，受欢迎程度较低的流行物品可能会获得更多的曝光率。现有关于缓解流行偏见的工作会盲目消除偏见，通常忽略项目质量的影响。我们认为，不同用户行为（例如，转换率）之间的关系实际上反映了项目质量。因此，为了处理不公平的问题，我们建议通过考虑多种用户行为来减轻流行性偏见。在这项工作中，我们研究了多行为推荐中相互作用生成过程背后的因果关系。具体来说，我们发现：1）项目受欢迎程度是暴露的项目和用户的点击交互之间的混杂因素，导致第一个不公平； 2）一些隐藏的混杂因素（例如，项目生产者的声誉）影响了项目的流行和质量，导致第二次不公平。为了减轻这些混杂问题，我们提出了一个因果框架来估计因果效应，该因果效应利用后门调整以阻止混杂因素引起的后门路径。在推论阶段，我们消除了受欢迎程度的负面影响，并利用质量的良好效果进行推荐。在两个现实世界数据集上的实验验证了我们提出的框架的有效性，这在不牺牲建议准确性的情况下增强了公平性。

这项研究提出了机器学习模型，这些模型使用大型钻探数据集预测和分类循环严重性损失。我们展示了利用易于解释的机器学习方法来应对大型钻井工程挑战的可再现核心技术。我们利用了来自伊朗Azadegan油田组的65,000多个记录数据，其中具有类不平衡问题。数据集的十七个参数中有11个参数用于五个丢失的循环事件的分类。为了生成分类模型，我们使用了六种基本的机器学习算法和四种合奏学习方法。线性判别分析（LDA），逻辑回归（LR），支持向量机（SVM），分类和回归树（CART），K-Nearest Neighbors（KNN）和Gaussian Naive Bayes（GNB）是六个基本技术。我们还在调查解决方案中使用包装和增强集合学习技术，以改善预测性能。这些算法的性能是使用四个指标测量的：精度，精度，回忆和F1得分。选择表示数据不平衡的F1得分作为首选评估标准。发现CART模型是识别钻孔流体循环损失事件的最佳选择，平均加权F1分数为0.9904，标准偏差为0.0015。在应用合奏学习技术后，决策树的随机森林合奏表现出最佳的预测性能。它以1.0的完美加权F1分数确定并分类丢失的循环事件。使用置换功能重要性（PFI），发现测得的深度是准确识别钻孔时丢失的循环事件的最具影响力因素。

基于图形的模型最近在人的重新识别任务中取得了巨大的成功，该任务首先计算了不同人之间的图形拓扑结构（亲和力），然后将信息传递给他们的信息以实现更强的功能。但是，我们在可见的红外人员重新识别任务（VI-REID）中发现了现有的基于图的方法，因为有两个问题：1）火车测试模式平衡差距，这是VI-REID任务的属性。两个模式数据的数量在训练阶段平衡，但推理极为不平衡，导致基于图的VI-REID方法的概括较低。 2）由图形模块的端到端学习方式引起的亚最佳拓扑结构。我们分析训练有素的输入特征会削弱图形拓扑的学习，从而使其在推理过程中不够概括。在本文中，我们提出了一种反事实干预特征转移（CIFT）方法来解决这些问题。具体而言，均匀和异质的特征转移（H2FT）旨在通过两种独立的设计的图形模块和不平衡的场景模拟来减少火车测试模态差距。此外，提出了反事实关系干预（CRI）来利用反事实干预和因果效应工具来突出拓扑结构在整个训练过程中的作用，这使图形拓扑结构更加可靠。对标准VI-REID基准测试的广泛实验表明，CIFT在各种设置下都优于最新方法。

动态面部表达识别（FER）数据库为情感计算和应用提供了重要的数据支持。但是，大多数FER数据库都用几个基本的相互排斥性类别注释，并且仅包含一种模式，例如视频。单调的标签和模式无法准确模仿人类的情绪并实现现实世界中的应用。在本文中，我们提出了MAFW，这是一个大型多模式复合情感数据库，野外有10,045个视频Audio剪辑。每个剪辑都有一个复合的情感类别和几个句子，这些句子描述了剪辑中受试者的情感行为。对于复合情绪注释，每个剪辑都被归类为11种广泛使用的情绪中的一个或多个，即愤怒，厌恶，恐惧，幸福，中立，悲伤，惊喜，蔑视，焦虑，焦虑，无助和失望。为了确保标签的高质量，我们通过预期最大化（EM）算法来滤除不可靠的注释，然后获得11个单标签情绪类别和32个多标签情绪类别。据我们所知，MAFW是第一个带有复合情感注释和与情感相关的字幕的野外多模式数据库。此外，我们还提出了一种新型的基于变压器的表达片段特征学习方法，以识别利用不同情绪和方式之间表达变化关系的复合情绪。在MAFW数据库上进行的广泛实验显示了所提出方法的优势，而不是其他最先进的方法对单型和多模式FER的优势。我们的MAFW数据库可从https://mafw-database.github.io/mafw公开获得。

现有视觉语言预训练（VLP）方法主要依赖于配对的图像文本数据集，这些数据集由大量人类劳动注释，或者从互联网上爬行，然后是精心制作的数据清洁技术。为了减少对良好的图像文本对的依赖，有望直接利用仅大规模的仅文本和仅图像的语料库。本文提出了一种数据增强方法，即跨模式cutmix（CMC），用于在未配对的VLP中进行隐式跨模式对齐学习。具体而言，CMC将自然句子从文本视图转换为多模式视图，在该视图中，句子中的视觉词语单词被带有相似语义的各种图像贴片随机替换。拟议中的CMC有几个吸引人的礼节。首先，它增强了数据多样性，同时保持语义含义完好无损地解决了对齐数据稀缺的问题；其次，通过将跨模式噪声连接到单模式数据上，它指导模型以学习跨模态的令牌级相互作用，以更好地降级。此外，我们提出了一种名为VLMIXER的新的未配对VLP方法，该方法将CMC与对比度学习集成在一起，以将Uni-Mododal和多模式视图汇总在一起，以在不同模式之间进行更好的实例级别对齐。在五个下游任务上进行的广泛实验表明，VLMIXER可以超过以前最先进的未配对VLP方法。

Conventional representation learning algorithms for knowledge graphs (KG) map each entity to a unique embedding vector, ignoring the rich information contained in the neighborhood. We propose a method named StarGraph, which gives a novel way to utilize the neighborhood information for large-scale knowledge graphs to obtain entity representations. An incomplete two-hop neighborhood subgraph for each target node is at first generated, then processed by a modified self-attention network to obtain the entity representation, which is used to replace the entity embedding in conventional methods. We achieved SOTA performance on ogbl-wikikg2 and got competitive results on fb15k-237. The experimental results proves that StarGraph is efficient in parameters, and the improvement made on ogbl-wikikg2 demonstrates its great effectiveness of representation learning on large-scale knowledge graphs. The code is now available at \url{https://github.com/hzli-ucas/StarGraph}.

Recently, with the application of deep learning in the remote sensing image (RSI) field, the classification accuracy of the RSI has been dramatically improved compared with traditional technology. However, even the state-of-the-art object recognition convolutional neural networks are fooled by the universal adversarial perturbation (UAP). The research on UAP is mostly limited to ordinary images, and RSIs have not been studied. To explore the basic characteristics of UAPs of RSIs, this paper proposes a novel method combining an encoder-decoder network with an attention mechanism to generate the UAP of RSIs. Firstly, the former is used to generate the UAP, which can learn the distribution of perturbations better, and then the latter is used to find the sensitive regions concerned by the RSI classification model. Finally, the generated regions are used to fine-tune the perturbation making the model misclassified with fewer perturbations. The experimental results show that the UAP can make the classification model misclassify, and the attack success rate of our proposed method on the RSI data set is as high as 97.09%.